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Abstract of EP0705027 

Image recognition, extraction, and data 
compression is carried out on the basis of colors. 
There are provided a judgment section 14 for 
judging a color difference between a color of each 
pixel constituting an image and each element of a 
color table; an image replacement section 16 for 
replacing, in accordance with the result of 
judgment, the color of each pixel with an element 
among elements of the color table, which 
minimizes the color difference relative to the color 
of the each pixel; and a pixel integration section for 
integrating the adjoining pixels after the 
replacement, if colors of pixels positionally 
adjoining in an original image are contained in 
regions adjoining in a divided color space. A single 
color replaced with an element of the color table is 
imparted to a group of pixels integrated by the pixel 
integration section 18. 
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Bildubertragungssystem und Verfahren zur Datenreduktion von 
Farbbildern mtttels Farbtabellen und Zusammenf assung von 
Bildbereichen 



Hintergrund der Erf indung 
Gebiet der Erf indung 

Die vorliegende Erf indung bezieht sich allgemein auf ein 
Bildverarbeitungsverfahren, ein BildverarbeitungsgerSt und 
ein Bildubertragungsgerat und insbesondere auf ein Brldver- 
arbeitungsverfahren zum Komprimieren von Bilddaten gemali • 
der Farbe jedes Abschnitts eines Bildes und auf ein Bild- 
ubertragungssystem zum Senden und Empfangen von Bilddaten, 
die durch das Verfahren komprimiert worden sind. 

Beschreibung des Standes der Technik 

Mit der jungsten Ausbreitung von Inf orraationsterminals oder 
Vergnugungsausrustung in Haushalten und Geschaf ten besteht 
Pine steigende Nachfrage an einer Technik zur Realisierung 
ei.ner Hochgeschwindigkeitsubertragung von Farbbildern. Em 
Beispiel fur solch eine Technik ist ein Video-auf-Abruf - 
-System (Video-on-demand-System) , in welchem eine zentrale 
Station auf Anfrage von einem Zuschauer jeden Spielfilm 
oder ahnliches liefert. Es ist zu erkennen, daft bei der 
Bildiibertragung die Genauigkeit und Scharfe des zu Ubertra r 
genden Bildes fast immer inkompatibel mit der Obertragungs- 
rate ist. Wurde die Genauigkeit und die Geschwindigkeit 
gleichzeitig ausreichend berucksichtigt , ware es notwendxg, 



die Kommunikationsbandbreite zu erhohen. Obwohl ein genaues 
und scharfes Bild nicht so wichtig ist wie ein naturliches 
Bild, miissen andererseits manche Anwendungen kostengunstig 
sein und benotigen ein grofies Datenubertragungsvolurnen un- 
ter Verwendung einer existierenden Leitung f wie etwa eine 
Telef onleitung. Hier wird hauptsachlich letztere Anwendung 
beschrieben. 

[Konventionelles Beispiel 1] 

Im.Falle einer Bildiibertragung durch eine Leitung rait einer 
niedrigen Bitrate werden Daten fur die Obertragung oft.kom- 
primiert . Eine existierende einf ache Datenkompressionsme- 
thode kann eine sein, in der Bilder zeitweise in eine An- 
zahl matrixahnlicher Blocke eingeteilt werden, um die nie- 
derf requenten Komponenten j.edes Blockes zu extrahieren. Ei- 
ne Bildubertragungsvorrichtung muB nur Blocknummern und die 
ihnen zugeordneten niederf requenten Komponenten der Blocke. 
iibertragen. Eine niedrigere Anzahl an Blocken kann die fur 
die Obertragung eines Bildes benbtigte. Zeit weiter reduzie- 
ren. Die Anzahl an Blocken. kann im Hinblick auf . die Genau- 
igkeit und Scharfe, die fur das zu ubertragende . Bild not- 
wendig ist, bestimmt werden, d.h. im Hinblick auf die Bild- 
qualitat. und die fur die .Obertragung notwendige Zeit. Trotz 
der Tatsache, daft dies eine einfache Methode ist, kann ein 
gewisser Effekt erwartet werden. 

Ein ahnliches Verfahren ist z.B.. in EP-A-0164825 offenbart. 
Darin" ist ein Verfahren zurn Kodieren von Bilddaten of f en- 
bart, in welchem Blocke anhand von geometrischen Grenzen 
von Regionen gebildet werden. 

[Konventionelles Beispiel 2] 

Wie spater beschrieben werden wird, bringt das konventio- 
nelle Beispiel 1 das Problem mit. sich, daft, sich die Bild- 
qualitat verschlechtert . Ein typisches Verfahren zurn Losen 



dieses Nachteils und digitalen Verarbeiten des Bildes ist 
z.B. ein Bildsegmentierungsverf ahren (d.h.ein Verfahren zum 
Einteilen eines Bildes in eine Anzahl von Regionen) unter 
Verwendung einer Histogrammverarbeitung . Dieses Segment ie- 
rungsverfahren andert die Graustuf eninf ormation jedes Pi- 
xels abhangig von der Haufigkeit seines Auftretens. Ein ku- 
mulatives Hauf igkeitsdiagraram, das die Graustuf eninf ormati- 
on aller Pixel eines Bildes reprasentiert, wird zeitweilig 
.geschaffen, wobei seine Hauf igkeitsachse gleichmaBig so un- 
terteilt ist, dafi sie mit dem vollen dynamischen Bereich 
des Bildverarbeitungsgerates korreliert. Diese Technik wird 
auch Kontrastverstarkungsverf ahren genannt. In di'eser Tech- 
nik wird eine haufig auftretende Graustufe fein unterteilt, 
wohingegen eine weniger haufig auftretende Graustufe grob 
unterteilt wird, um diese in mehrere Graustufen einzutei- 
len. Diese Technik ermoglicht es, daB signifikante Kompo- 
nenten in der Graupegelinformation eines Bereiches ver- 
starkt werden und daB Daten in anderen Abschnitten geloscht 
werden, um so die Daten zu komprimieren . 

Ein weltered Verfahren zum Komprimieren von Bilddaten ist 
in EP-A-0301207 offenbart. In diesem Verfahren werden die 
Farben eines Farbbildes durch eine Anzahl von n Farben er- 
setzt, wobei n kleiner ist als die Anzahl an Farben im Ori- 
ginalbild- Somit kann die Menge an Farbinf ormation redu- 
ziert werden. 

Die oben erwahnten konventionellen Beispiele beinhalten die 
nachf olgenden Probleme. 

[Zum konventionellen Beispiel 1] 

Sollte eine Grenze eines Bildes in einem Block enthalten 
sein, kann das durch das Wiederherstellen des Blockes er- 
haltene Bild stark vom Originalbild abweichen. 
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Fig. 1 stellt das Bild eines auf dem Meer 1 schwimmenden 
Schiffes .3 dar. Man nehme nun ah, dafi. die Daten des Ab- 
schnittes des Blockes 5 komprimiert werden. Der Block. .5 
enthalt eine Grenze zwischen dem Schiff 3 und dem Meer 1. 
Angenommen, die Farbe des Meeres sei blau und die Farbe des 
Schiffes 3 sei rot, dann wurde die Farbe des Blockes 5 ge- 
mittelt werden, was zu Lila ftihrt. Wie einfach vorstellbar 
ist, ware die Kontur des Schiffes 3 von einem Farbgurtel 
umgeben, der im Originalbild nicht zu sehen ist, was zu ei- 
nem unnaturlichen Bild fiihrt. Die Verschlechterung des Bil- 
des in Einheiten von Blocken wird "Blockverzerrrung" ge- 
nannt, was ein ernster Nachteil des konventionellen Bei- 
spiels 1 ist. 

[Zum konventionellen Beispi^l 2] . 

. Abhangig von der Art der Anwendung ermoglicht dieses Seg- 
mentierungsyerf ahren eine Bildverarbeitung mit ziernlich ho- 
her Genauigkeit und Datenkomprimierung . Wahrend des Ein- 
teilprozesses ware es jedoch notig, eine grofie Menge an Be- 
rechnungen fur jedes Bild durchzuf uhren . Im Fall, d&lidas 
Histogramm systematische Fehler enthalt oder das Bild.einen 
extrem engen dynamischen Bereich (z .B. Weltraumbilder) be- 
sitzt,. ware nach der Transformation eine Modulation der 
Hauf igkeitsverteiliing notig. Solch ein Prozeft wiirde fiir je- 
des Bild benotigt, was den Computer stark auslasten wurde. 
Daher erf ul.lt das Segmentierungsverf ahren unter Verwendung 
einer Histogrammverarbeitung riicht den Bedarf,. eine Menge 
an Daten bei. niedrigen . Kosten zu verarbeiten. 

Im in EP-A-0301207 beschriebenen Verfahren besteht ein Pro- 
blem darin, daft nach dem Durchfdhren des Verfahrens jedes 
Bildelement noch immer seine eigene Farbinf ormat ion be- 
sitzt. Daher ist die Komprimierung nicht sehr effektiv oder 
die Anzahl an Farben muB drastisch reduziert werden, was zu 
einer spiirbaren Verschlechterung des Bildes fiihrt. 
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Zusammenf assung der Erfindung 

Daher ist es eine Aufgabe der vorliegenden Erfindung/ ein 
auf Bereichen basierendes Bildverarbeitungsverf ahren und 
-gerat zur Verfugung zu stellen, das dazu gedacht ist, 
Bilddaten dadurch zu komprimieren,. daft ein Bild in Einhei- 
ten von Bereichen rait ahnlichen Farben eingeteilt wird r an- 
statt das Bild in matrixf ormige Blocke (namlich Positions- 
koordinaten) einzuteilen, und ein Bildubertragungsgerat zur 
Verfugung zu .stellen, das dazu gedacht ist, die Bilddaten 
zu ubertragen und zu erapfangen, die unter Verwendung des 
Bildverarbeitungsgerates verarbeitet worden sind. Es wird 
ein Bildverarbeitungsgerat eines Typs offenbart, welches 
die benotigte Computerarbeit minimiert und welches das 
Bildsegrnentierungsgerat, das die Histogrammverarbeitung . 
oder ahnliches verwendet, ersetzt. Ein Bildverarbeitungs- 
verf ahren gemaJJ der vorliegenden Erfindung ist ein Verf ah- 
ren, bei dem Bilder auf eine Bereichsbasis verarbeitet wer- 
den, das einen Schritt des Abwagens der Nahe einer Farbe 
eines jeden Abschnitts des zu verarbeitenden Bildes zu vor~ 
bereiteten Standardelementf arben umfafit; einem Ersetzungs- 
schritt zum Ersetzen der Farbe eines jeden Abschnitts durch 
eine Elementf arbe gemafi dem Ergebnis der Abwagung; und ei- 
nen Integrationsschritt zum Integrieren der Regionen, die 
der Ersetzung unterworfen worden -sind, nach der Ersetzung 
umfalit. Eine einzelne Farbe, die wiederum.vom Abwageschritt 
und vom Ersetzungsschritt durch eine Element farbe ersetzt 
wird, wird dem so integrierten Abschnitten zugeteilt. Jeder 
Abschnitt kann ein Pixel sein, oder eine Gesamtheit von Pi- 
xels. Die Elementf arbe ist z.B. in einer Farbtabelle ent- 
. halten. Die Naherung wird z.B. durch die Farbdif f erenz be- 
urteilt . v 

Als erstes wird die Farbe jedes Abschnittes des Bildes 
durch eine der Elementf arben ersetzt. Zum Beispiel wird die 
Farbe jedes Pixels durch ein Element ausden Elementen der 
Farbtabelle ersetzt, das die Farbdif f erenz relativ zur Far- 
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be jedes Eleraentes minimiert. Selbst wenn das Originalbild 
10000 Farben enthalten hat >' wird das Bild durch 100 Farben 
ceprasentiert, falls die Anzahl an Elementf arben 100 be- 
tragt. Nach der Ersetzung konnen, falls Farben von Pixeln, 
die? im Originalbild in ihrer. Position aneinander arigrenzen, 
in Bereichen enthalten sind, die im eingeteilten Farbraum 
aneinander angrenz.en, diese Pixel integriert werden; Wenn 
.ein Bild z.B. durch 100 Farben dargestellt wprderi ist, kon- 
nen die aneinander angrenzenden Pixel oder Bereiche. {je- . 
weils mit einer anderen Farbe) im Originalbild moglicher- 
weise durch die gleiche Elementfarbe dargestellt sein. In 
diesem Fall werden diese Pixel oder Bereiche in einen ein- 
zigen Bereich integriert. In dem Fall, daft aneinander an- 
grenzende Pixel oder Bereiche von Element farben dargestellt 
werden, die einander extrem ahnlich sind (sich aber yonein- 
ander geringfugig unterscheiden) konnen diese Pixel oder 
Bereiche ebenfalls integriert werden. In diesem Fall wird 
eine> Elementfarbe, die vor der Integration entweder durch 
einem Pixel oder einem Bereich eigen war, dem Bereich nach 
der Integration zugeteilt. 

Das Verfahren umfaftt aufierdem einen Schritt zum Erzeugen 
einer Farbtabelle, urn beim Beenden des Erset zungsschrittes 
und des Integrationsschr ittes Elemente aus der Farbtabelle 
zu extrahieren, die notig sind, um das Endbild darzustel- 
len, so daft eine weitere Farbtabelle erzeugt wird. Im obi- 
gen Beispie-1" wird eine Farbtabelle erzeugt/ die aus hundert 
Farben -zusammengesetzt ist/ 

Ln einem Bildubertragungsgerat ( Ubertragungssystem) gemafr 
der vorliegenden Erfindung schliefit der Sender. Sendemittel 
zum Senden einer Farbtabelle an den Empf anger ein, wahrend. 
der Empf anger Speichermittel zum Speichern der empfangenen 
Farbtabelle einschliefrt . Das heiftt, die Farbtabelle wird 
vom Sender an den Empf anger ubertragen, und der Empf anger 
speichert die Farbtabelle. Vor der Obertragung der Bildda- 
ten wird es dem Sender und dem Empf anger ermoglicht, eine 



gemeinsame Farbtabelle zu enthalten. Aufgrund der Tatsache, 
daft die gleiche Farbtabelle verwendet wird, muB der Sender 
danach nur Farbzahlen ubertragen. Der Empf anger reprodu- 
ziert die Originalf arben durch Bezugnahme auf die Farbzah- 
len imd die Farbtabelle. 

Gemali einem weiteren Aspekt enthalt der Sender Entschei- 
dungsmittel zum Entscheideri uber die Qbertragungshauf igkeit. 
der Daten eines Bereiches in Abhangigkeit von der Signif i- 
kanz dieses Bereiches. Der Empf anger enthalt Reproduktions- 
mittel zum Kombinieren von Daten in Einheiten von Berei- 
chen, die vorn Sender ubertragen worden sind, um ein Bild zu 
reproduzieren. In Abhangigkeit von der Signif ikanz eines 
Bereiches entscheidet der Sender iiber die Sendehauf igkeit, 
der Daten in diesem Bereich, wohingegen der Empfanger die 
Daten in Einheiten von Bereichen, die vom Sender gesendet 
worden sind, kombiniert, um so ein Bild zu reproduzieren. 
Ein signif ikanter Bereich schliefit z.B. einen Bereich mit 
einer groften Flache oder einen Bereich, der einem menschli- 
chen Gesicht entspricht, ein. Die Erhohung der Sendehauf ig- 
keit stellt z.B. sicher, daft das Fehlen signif ikanter In- 
formation, das aufgrund von Sendefehlern auftritt, vermie- 
den wird. 

Kurze Beschreibung der Zeichnungen 

Fig. 1 ist eine Ansicht eines Bildes eines Schiffes 3, das 
auf dem Meer 1 schwimmt; 

Fig. 2 ist ein Diagramm, das einen schematischen Aufbau.fur 

ein Gerat zum Ausfuhren des Bildverarbeitungsverf ahrens ge- 

maft der vorliegenden Erfindung darstellt; 

Fig. 3 ist eine Ansicht eines gleichf ormigen HVC- 

Parbraumes; 

Fig. 4 ist ein Diagramm, das durch die Vergrofterung eines 
zu verarbeitenden Bildes 16 Pixel zeigt; 



Fig. 5 ist ein Diagram, das die Beziehung der Positionen im 
gleichf ormigen HVC-Farbraum darstellt, die den Farbzahlen 
der. 16 Pixel aus Fig. 4 entnommen sind; 

Fig. 6 ist ein Diagramm, das den Aufbau eines Bildubertra- 
gungsgerates gemaft einer zweiten Ausfuhrungsf orm darstellt; 
Fig. 7 ist eine Ansicht eines Originalbildes % vor der Inte- 
gration einer dritten Ausfuhrungsf orm; r 
Fig. 8 ist eine Ansicht eines Bildes, das der Integration 
unterworfen war/ die bis zu einem gewissen Grad in der 
dritten Ausfuhrungsf orm. f ortgeschritten ist; 
Fig. 9 ist eine Ansicht' eines Bildes, das der Integration 
unterworfen war, die in der dritten Ausfuhrungsf orm bedeu- 
tend vorangeschritten ist. . 

Fig. 10 ist eine Ansicht des Endbildes, das als Ergebnis 
des Prozesses B der dritten Ausfuhrungsf orm erhalten worden 
ist ; 

Beschreibung der bevorzugten Ausfuhrungsf ornien 

Ausfuhrungsf orm 1 " 

Eine bevorzugte, ..beispielhaf te Ausfuhrungsf orm des Bildver- 
arbeitungsverf ahrens der vorliegenden Erf indung wird nun 
mit Bezug auf die Figuren 2 bis 5 beschrieben. 

Zuerst ist in Fig. 2 schematisch der Aufbau eines Bildver- 
arbeitungsgerates gezeigt, das . dazu gedacht ist, das Ver- 
Eahren durchzuf iihren . Das Gerat. umfaBt einen Bildeingabeab- 
schnitt 10 zum Eingeben eines Bildes; 

ein Rauschbeseitigungsabschnitt 12,. der aus einem Tiefpali- 
. Eilter zum Beseitigen vori- Rauschen, das in. den Bildeingang 
eingemischt sein kann, aufgebaut, ist; einen Raumtransf orma 
tionsabschnitt 14 zum Transf ormieren der Skala des Bildes,. 
das durch den Rauschbeseitigungsabschnitt 12 vom Rauschen 
befreit worden ist, aus. dem RGB-Farbraum in den gleichfor- 
migen HVC-Farbraum, was spater beschrieben wird; einen Bil 
derset zungsabschnitt 16. zum Ersetzen des Bildes , . das . vom 



Raumtransformationsabschnitt 14 transf ormiert . worden ist 
durch Elemente, die in einer Farbtabelle, die sp&ter be- 
schrieben werden wird, vorliegen; uhd einen Bildintegrati- 
orisabschnitt 18, urn aus den Pixeln des Bildes, das durch 
den Bildersetzungsabschnitt 16 ersetzt worden ist, diejeni- 
gen Pixel, die in ihrer Position einander benachbart sind 
und in ihrer Farbe im Originalbild nahe beieinander liegen, 
zu integrieren. * 

Es wird nun der gleichf ormige HVC-Farbraum beschrieben, in 
den der RGB-Farbraum durch den Raumtransformationsabschnitt 
14 transf ormiert wird. 

Fig. 3 stellt den Aufbau des gleichf ormigen HVC-Farbraumes 
dar. Wie wohl bekannt ist, ist der gleichf ormige HVC- 
Farbraum ein zylindrischer Farbraum zum Klassif izieren von 
Farben mit dem Farbton in Umf angsrichtung, dem Wert in 
Richtung der Hohe und dem Farbwert in radialer Richtung, 
der durch eine bekannte Transformation aus dem RGB-Farbraum 
erhalten werden kann. Der gleichf ormige HVC-Farbraum ist 
dadurch gekennzeichnet , daft er im Vergleich mit dem RGB- 
Farbraum eine einf ache intuitive Wahrnehmung durch das 
menschliche Sehen ermoglicht. Farben, die zwei Punkten ent- 
sprechen f welche in grofter Nahe zueinander in gleichf ormi- 
gen HVC-Farbraum liegen, werden von Menschen als Farben 
wahrgenommen, die einander ahneln. Wie spater beschrieben ■ 
werden wird, werden eine Anzahl Farben, die innerhalb einer 
bestimmten Zone dieses Raumes enthalten sind, durch eine * 
' einzige Farbe ersetzt, wodurch es moglich gemacht wird, Da- 
tenkompression durchzuf iihren, was das letztendliche Ziel 
ist. 

Dieser Vorgang wird erklart . 

Sin zu verarbeitendes Bild wird durch den Bildeingabeab- 
schnitt 10 in das Gerat eingebracht. Aufgrund einer relativ 
zuf alligen Rauschkomponente, die im allgemeinen im Bild 
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enthalten sein kann., wird der Rauschbeseitigurigsabschnitt 
12 zum Beseitigen des RauscKens zur Verfugung gestellt. 
Dann dient der Raumtransf ormationsabschnitt . 14 dazu, dieses 
Bild vom RGB-Farbraum in. d^n gleichf ormigen HVC-Farbraum zu 
cransformieren. Neben der Ausfiihrung dieser Transformation' 
rieilt der Raumtransf ormationsabschnitt 14 den gleichf 6rmi- 
gen HVC-Farbraum nach der Transf ormierung in eine Anzahl 
Bereiche ein, urn im Voraus eine Farbtabelle vorzubereiten ; 
Zum Beispiel Vird der gleichf orraige HVC-Farbraum fur die 
Verwendung in 40 Segmente in den Richtungen H, V bzw. C 
eingeteilt. Somit wird der Farbraum in 40 x 40 x 40 =. 
64.000 Bereiche eingeteilt. Fur jeden Bereich wird eine 
inittlere Farbe. als die Farbe festgelegt, die den Bereich 
repraseritiert. -Dies fuhrt zu 64.000 reprasentativen Farben, 
was ausreicht, urn ein Bild nahe dem nattir lichen Bild darzu- 
stelleri. 

Unter Verwendung der reprasentativen Farben als Elemente 
erzeugt der Raumtransf ormationsabschnitt 14 die Farbtabel- 
le. Die reprasentativen Farben als Elemente der Farbtabelle 
konnen durch die Zahlen 1 bis 64.000 individuell spezifi- 
ziert werden, was bedeutet, daft alle Farben durch Daten von 
16 Bit identif iziert werden konne.n. 

Der Bildersetzungsabschnitt 16 dient zum Ersetzen der Farbe 
jedes Pixels des zu verarbeitenden Bildes durch eine der 
Farbzahlen 1 bis 64.000.. Trotz der Tatsache, dafl es 64.000 
Farben gibt, ware es unmoglich, dafi die Farbe jedes Pixels 
vollstandig mit einem Element in der Farbtabelle liberein- 
stimmt, da jedes Pixel eine beliebige Farbe besitzt. Daher 
mifit der Bildersetzungsabschnitt 16 eine Farbdif f erenz zwi-' 
schen jedem Pixel und jedem Element in der Farbtabelle und 
verwendet als Farbe zum Ersetzen der Farbe des Pixels das 
Element, das die Farbdif f erenz rninimiert. Es ist zu erjwah- : 
nen, dafl flir die Ersetzung auch solch ein Element, das eine 
Farbdif f erenz aufweist, die innerhalb eines vorbest imroten 
Bereiches liegt, verwendet werden kann. Dies ergibt sich 
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aufgrund der Tatsache, daft, obwohl es wiinschenswert ist, 
nach einem Element zu suchen, welches die Farbdif f erenz mi- 
nimiert, diese Suche eine gewisse Berechnungszeit beriotigen 
wurde. In jedem Fall wird als Ergebnis der Ersetzung eine 
vollstandige Representation des zu verarbeitenden Bildes 
durch die Farbzahlen 1 bis 64.000 erreicht. 

Das so in einem Zwichenstadium der Verarbeitung erhaltene 
Bild wird vom Bildintegrationsabschnitt 18 integriert und 
komprimiert. Fig. 4 stellt in einem vergrolierten MaBstab 16 
Pixel dar, die in. einem Teil eines zu verarbeitenden Bildes 
vorhanden sind. Fig. 5 zeigt die Beziehung der Positionen 
im gleichformigen HVC-Farbraum, die durch die Farbzahlen, 
die diesen 16 Pixeln entsprechen, definiert werden. 

[n Fig. 4 sind die Farbzahlen, die den 8 Pixeln zugeordnet 
werden, die in der oberen Halfte der 16 Pixel liegen (die 
nachfolgend als Pixelgruppe A bezeichnet werden) , die Zah- 
len 

n-l,n, n+1 

* • 

wahrend die Farbzahlen, dife den Pixeln, die in der unteren 
Halfte liegen (im f olgenden als Pixelgruppe B bezeichnet) , 
zugeordnet sind, die Zahlen 

m-1, m, m+1 
sind. 

Wie in Fig. 5 zu sehen ist, liegen Elemente mit benachbar- 
ten Farbzahlen im gleichformigen HVC-Farbraum direkt neben- 
< 5 inander. Es ist daher ersichtlich, daB die Pixelgruppen A 
und B jeweils aus im wesentlichen denselben Farben zusam- 
mengesetzt sind. Daher werden die Pixel, die zur Pixelgrup 
pe A gehoren, so integriert, dafi sie jeweils dieselbe 
Farbzahl n besitzen, wohingegen die Pixel, die zur Pixel- 



gruppe B gehoren, so integriert werden, dafi site" jeweils 
dieselbe Farbzahl m besitzen. Der Pixelintegrationsab- 
schnitt 18 fuhrt solch einen Integrationsprbzeft xiber dem 
gesamten Bild aus, urn inf olgedessen alle Bereiche zu inte- 
grieren. Die obige Verarbeitung beendet die . Datenkompressi- 
on.. 

Es ist mit Bezug auf dieses Gerat zu wurdigen, daft aufgrund 
der Tatsache, daft es 64.000 Farbzahlen gibt, moglich ist, 
alle Pixel mit Farbzahlen, die innerhalb eines bestimmten 
Bereiches variieren, zusatzlich zu den Pixel mit den be- 
nachbarte Farbzahlen zu integrieren. Diese Pixel konnen der 
Integration unterworfen werden, solange sie innerhalb eines 
bestimmten Bereiches angeordnet sind, ohne auf den Fall be- 
schrankt . zu sein, in dem sie im Originalbild einander be- 
nachbart sind. Der Bereich, der integriert werden soli, 
hangt von der Datenkompressionsrate und der bendtigten 
Bildqualitat, ab;. 

Im.hier vbrgestellten Gerat wurde die Farbtabelle vom Raum- 
transf ormationsabschnitt 14 erstellt, obwohl die Tabeile 
auch aufterhalb des Gerat s angeordnet seih kann . In diesem 
Fall wird in der externen Tabeile nachgeschlagen, falls 
dies notig ist. 

Gemaft dem Bildverarbeitungsver f ahren der vorliegenden Er- 
Cindung ist die kleinste Einheit fur die Integration der 
Bilddaten ein Pixel, so da/1 alle benachbarten Pixel mit 
ausreichend unterschiedlichen Farbzahlen nicht integriert 
werden, wodurch die im konventionellen Beispiel 1 enthalte- 
ne Blockverzerrung vermieden wird. Der Vorteil der vorlie- 
genden Erfindung gegenuber dem konventionellen Beispiel 1 
ergibt sich aus deren intrinsischem Unterschied, namlich 
daft die Datenkompression in\ konventionellen Beispiel 1 nur 
auf der Posit ionsinf orraation des Originalbildes beruht, wo- 
hingegen in der vorliegenden Erfindung die Daten in Abhan- 
gigkeit von der Farbinf ormation komprimiert werden. Daher 



wird fur die Integration der Bereiche weniger Berechnung 
notig, was das Problem uberwindet, welches das konventio- 
nelle Beispiel 2 mit sich bringt. 

Zudem stellt die Ausfuhrung der Integration der Bilddaten 
durch das beschriebene Gerat nicht nur die Datenkompression 
sicher, sondern auch die Extraktion von Pixelbereichen mit 
ahnlichen Farben im Farbraum. Dieses Gerat kann auch als 
ein Bilderkennungsgerat verwendet werden. Aufgrund der Fa- 
higkeit dieses Gerates, nicht den RGB-Farbraum, sondern ei- 
nen Farbraum wie etwa den gleichf ormigen HVC-Farbraum, der 
eine naturliche, dem menschlichen Sehen gemafte Einteilung 
. liefert, zu verwenden, ist es moglich, Erkennung und Analy- 
se bequem durchzuf iihren . 

Ausf uhrungsf orm 2 

Es wird nun ein Bildiibertragungsgerat (Obertragungssystem) 
beschrieben, das' da zu gedacht ist, das Senden und Empfangen 
von unter Verwendung des Bildverarbeitungsverf ahrens des 
Ausf uhrungsbeispiels 1 komprimierten Bilddaten durchzuf uh- 
ren . 

In Fig. 6 ist ein Aufbau des Bildubertragungsgerates gemaft 
der zweiten Ausf uhrungsf orra dargestellt. 

Das Bildiibertragungsgerat umfaftt einen Bildsender 30 und 
einen Bildempf anger 1 32 , die beide .das Bildubertragungsver- 
cahren der vorliegenden Erfindung verwenden. Der Bildsender 
30 verwendet insbesondere das Verfahren, das wie folgt ver- 
bessert ist. Urn die Ubertragungssicherheit beim Seriden voi} 
komprimierten Bilddaten zu gewahrleisten, ist der Bildsen- 
der 30 mit einem Signif ikanz-Zuordnungsabschriitt 34 ausge- 
stattet. Der Bildsender 30 enthalt aufoerdem einen Farbta- 
Cel-Erzeugungsabschnitt 36, der eine neue Farbtabelle er- 
zeugt, indem diejenigen Farbtabellenelemente, die fur das 
Darstellen des Endbildes nach dem Abschlufi der Bereichsin- 



tegration durch den Pixelintegrationsabschnitt 18 notig . ' 
sind, extrahiert werden. Die Signif ikanz und die Farbtabel- 
le werden zeitweilig in einem Speicherabschnitt 3.8 gespei- 
chert und dahn tiber einen Sendeabschnitt 40 an den Bildemp- 
f anger 32. gesendet.Uber einen Empf angsabschnitt 42 emp- 
fangt der Empf anger 32 die Daten. und speichert diese zeit- 
weilig in einem Speicherabschnitt 44. Danach werden die Da- 
ten in einen. Reproduktionsabschnitt 46 zum Erzeugen des 
Bildes eingegeben. 

Der Zustand des Bilddatensendens und des Bilddatenempf an- 
gens wird erklart. 

Das Bild wird vom Bildsender 30 in der gl'eieheri Weise ver- 
arbeitet wie in der ersten Ausfuhrungsform. Der Farbtabel- 
lenerzeugungsabschnitt 36 extrahiert dann alle Farben, die 
im Endbild verwendet sind f urn eine neue Farbtabelle zu er- 
zeugen. Die so erzeugte Farbtabelle wird vor dem Senden der 
Bilddaten an den Biidempf anger 32 ubeirgeben. Als Ergebnis* 
iit es dem Bildsender 30 und dem Biidempf anger 32 moglich, 
die gleiche Farbtabelle zu besitzen, was fur die Reproduk- 
tion des anschlieflend zu sendenden Bildes notwendig und 
ausreichend ist. 

Der Signif ikanz-Zuordnungsabschnitt 34 bewertet die Signi- 
fikanz aller Bereiche des bereits integrierten Endbildes 
und. gibt eine Prioritat beim Senden aus. Dies ist eine Mali- 
nahme, die getroffen wird, urn den Datenverlust im am wenig- 
sten signif ikanten Teil zu minimieren, wenn eine unerwarte- 
t^e Situation aufgetreten ist, wie etwa Datenverlust im Kom- 
munikationskanal : Der Signif ikanz-Zuordnungsabschnitt 34 
wird z.B. einem Bereich mit einer grofien Flache eine hohere 
Prioritat zuordnen. Die den Bereichen zugeordneten Priori- 
. tate.n werden im Bildsender 30 gespeichert, und eine Zahl, 
die die Zahl der feinst.en Wiederholungssendung fur den Be- 
reich mit einer hohen Prioritat in der Sendung anzeigt, 
wird auf einen grofleren Wert eingestellt. Dies stellt eine 



wiederholte Sendung im Einklang mit der Prioritat sicher 
und, sollte der Kommunikationskanal einen Fehler erleiden, 
ermoglicht es r das Schlimmste zu vermeiden, namlich die Si- 
tuation, in der ein grolier Bereich verloren sein kann, wenn 
das Bild im Bildempf anger 32 reproduziert wird. 

Das Vorangegangene ist eine Zusammenf assung des Bilduber- 
tragungsgerates gemaft dieser Ausf uhrungsf orm. 

Ss ist besonders zu erwahnen, dafc die Kriterien zum Zuord- 
nen der Prioritateh durch den Signif ikanzzuordnungsab- 
schnitt 34 nicht auf die Grolie der Bereiche begrenzt ist. . 
Z.B. kann, abhangig von seiner Anwendung, einem Bereich, 
der vom menschlichen Auge aufgrund seiner Farbzahl, die 
sich von anderen Bereichen deutlich unterscheidet , klar ge- 
sehen werden kann, oder einem Bereich mit einer grolien Hel- 
ligkeit, eine hohere Prioritat zugeordnet werden. In Anwen- 
dungen, die mit einem Bild verknupf t sind, das hauptsach- 
lich ein menschliches Gesicht beinhaltet, wie etwa insbe-. 
sondere bei einem Bildtelefon, ist es vorzuzieheh, daB ein 
f leischf arbener Bereich, der im Mittelpunkt des Bildschir- 
mes liegt, oder ein Bereich, der Augen oder einen Mund in- 
nerhalb eines f leischf arbenen Bereiches darstellt, einer 
Verarbeitung unterworfen wird, z.B. urn die Prioritat zu he- 
ben . 

Gemaft dem Bildubertragungsgerat der vorliegenden Erfindung, 
wie es oben beschrieben worden ist, kann das Senden und 
Empfangen der Bilddaten ausgefuhrt werden, wahrend gleich- 
zeitig die Abwesenheit jeglicher signif ikanter Bereiche 
vermieden wird. In diesem Fall ist das Gerat aufgrund der 
Tatsache, daft sowohl der Sender als auch der Empf anger eine' 
(Tarbtabelle teilen konnen, die notwendig und ausreichend 
fur die Reproduktion des '.zu ubertragenden Bildes ist, ge- 
eignet, den Bedarf fur. das Senden von deutlicherer Informa- 
tion uber eine Leitung mit niedriger Bitrate zu decken und 
ist im praktischen Gebrauch uberlegen. 



Ausf uhrungsform 3 

-Es wird ein. Bildverarbeitungsverf ahren beschrieben,. das die 
Verwendung des Bildbereichsintegrationsverf ahren der ersten 
Ausf uhrungsform ermoglicht. In dieser Ausf uhrungsform wer- 
den die Bildbereiche nacheinander integriert. Spezieller, 
das Verf ahren der. ersten Ausf uhrungsform ist auf einen Pro-, 
zeft A anwendbarV der spater beschrieben werden wird.. 

[Hintergrund] 

Wie durch MPEG reprasentiert , ist Bildkodierung eine der 
wichtigsten Basistechniken, wenn die Realisierung in.. Bil- * 
dempf angsausrustungen der nachsten Generation oder wenn 
verschiedene Bildubertragungsdienste in Betracht gezogen 
werden. Es liefert Bildinf ormation mit hoherer Qualitat unci 
mehr Natiirlichkeit bei einer begrenzten Obertragungsrate, 
wahrend eine Verbesserung in der Kodierungsef f izienz oder 
Bildkompressionsrate sichergesteilt ist. 

Diskrete Kosinustransf ormation (DCT) ist ein Beispiel sol* 
cher MPEG-Kodierungstechniken. In dieser Technik wird ein 
Bild in eine Anzahl mat rixahnlicher Blocke eingeteilt . Im 
einfachsten Beispiel wird eine niedrigf requente Komponente 
von jedem der Blocke extrahiert/ und die. Farben der Pixel, 
die in jedem Block enthalten sind/ werden gleichmaBig durch 
z.B. eine typische Farbe ersetzt. Danach werden die Block- 
zahlen entsprechend den typischen Farben zugeordnet, um die 
Kodierung zu komplett ieren . 

Unter der .steigenden Anzahl von bildassoziierten Techniken 
Lst insbesondere eine Technik z.um korrekten Erfassen und 
Vorhersagen der Bewegungen dynamischer Bilder, um sie zu 
.kodieren (nachfolgend einfach als Bewegungskodierung be- 
zeichnet) , von besonderer Bedeutung. Eines der Ziele bild- 
kodierender Techniken ist es, ihre Anwendung auf hauslichen 
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Vorrichtungen, wie etwa personlichen Inf ormationsgeraten, 
zu ermoglichen. Die Voraussetzungen sind in diesem Fall, 
daft, dynarnische Bilder in Echtzeit innerhalb eines Bereiches 
mit einer nledrigen Senderate ubertragen werden und daft die. 
Bilder, die durch die . Dekodierung erhalten werden, eine 
ausreichend hohe Qualitat besitzen. Urn diese Voraussetzun- 
gen zu erfullen, ware es unvermeidlich, eine Bewegungsko- 
dierung durchzuf uhren . 

[Probleme] 

Da die MPEG-Kodierungstechnik, die oben beschrieben worden 
ist, alleine fur implementierbare Anwendungen, wie etwa 
hochintegrierte Schaltungen (LSI, Vibe Scale Integration 
Circuits) unter Verwendung der existierenden Techniken 
entwipkelt worden ist, scheint es schwierig, sie zur Zeit 
direkt auf die Realisierung einer verbesserten Bewegungsko- 
dierung anzuwenden. MPEG ermoglicht es, daft Bewegungsvekto- 
ren von Blocken ubertragen werden, wahrend die Bildkodie- 
rung fur jeden Block durchgefuhrt wird, und die Bewegungs- 
vektoren werden alle fur jeden Bloqk unabhangig vom Inhalt 
des Bildes berechnet. Dies bedeutet, daft alle Objekte in- 
nerhalb des Bildes gleichformig durch die Verwendung von 
Blocken der gleichen Grofte dargestellt werden. Information, 
die die Unterschiede zwischen dem Originalbild und dem er- 
zeugten Bild darstellen, ist fur dieses Verfahfen unver- 
zichtbar. Da jedoch die Differenzinf ormation gewohnlicher- 
weise einen zu groften Anteil in Anspruch nimmt, war es na- 
i:\irlicherweise schwierig, genugend Bildinf ormation mit ei- 
ner Leitung niedriger Bitrate zu ubertragen. 

(Aufga.be dieser Ausf uhrungsf orm] 

Das Ziel der vorliegenden Erfindung ist.es, ein Problem zu 
identif izieren und zu losen. Der Anmelder (1) betrachtet 
das Fehlen von Forschung mit dem Ziel, das Segmentierungs- 
verfahren effektiv auf die Bewegungskodierung anzuwenden 




alsein Problem und (2). berucksichtigt, daft die auf DCT ba- 
sierende Kodierung von Bewegungen auf grund der niedrigen . 
Kompressionsef f ektivitat und der schlechten Ubereinst immung 
zwischen Bereichen, Einschrankungen haben kann, was spater 
beschrieben werden wird, und 

(3) offenbart ein auf Bereichen basierendes- Bildbereichsin- 
tegrationsverf ahren im Hinblick auf f ortgeschrittene Bewe- 
gungs kodierung. 

[Losung] 

Im. Verfahren zum Integrieren von Bildbereichen dieser Aus- 
f uhrungsf orm werden eine Anzahl von Kriterien zum Bereich- 
sintegrieren, die wiederholt angewendet . werden konnen, kom- 
. biniert, urn die Integration der Bereiche f ortzuf uhren . Der 
Ausdruck "die wiederholt angewendet werden konnen" bedeu- 
tet/ daft auf die Verwendung eines Kriteriums die Verwendung 
eines weiteren Kriteriums folgt, und danach das urspriingli- 
che Kriterium wiederholbar ist. Der Ausdruck "integrieren" 
oder "Integration" bedeutet, dali eine Anzahl Bereiche zu 
einem einzigen Bereich integriert werden. Der Ausdruck 
"Bildbere.ich" meint einen Bereich f der aus Bildpunkten mit 
irgendeiner Gemeinsamkeit zusammengesetzt ist. Der Bildbe- 
reich kann aus einem einzigen Bildpunkt zusammengesetzt 
sein, kurz gesagt, die kleinste Einheit eines Bildbereiches 
Lst ein Bildpunkt. ' 

Diese Ausf uhrungsf orm schlieftt einen Prozeft A ein, in wel- 
chem Bildbereiche auf der Basis individue.ller Bildpunktin- 
formation, integriert werden, und schlieftt einen Prozeft B 
ein, in welchem Bildbereiche auf der Basis von Gesamtbild- 
punktinf ormation integriert werden. Die Individualinf orraa- 
cion' bezieht sich auf Information, die durch lediglich in- 
dividuelle Bildpunkte definiert werden kann, wie etwa die 
Farbe des Bildpunktes, wohingegen sich die Gesarntinf ormati- 
on auf Information bezieht, die durch die Gesamtheit einer 
Anzahl von Bildpunkten, wie etwa die Geometrie, des Berei- 



- 18 - 




ches, definiert werden kann. Obwohl im ProzeB A die Inte- 
gration auf der Basis der individuellen Information ausge- 
Euhrt wird, kann eine Anzahl von tatsachlichen individuel- . 
ien Informationen fur eine Anzahl Bildpunkte kollektiv be- 
handelt werden, solange die Integration auf der individuel- 
len Information basiert. Urn ein Beispiel zu geben, der 
Durchschnitt der Farben. einer Anzahl Bildpunkte kann -die 
Basis der Integration bilden. 

In dieser Ausf uhrungsf orm kann die Individualinf ormation 
die Farbinformation fur jeden Bildpunkt sein, und die oben 
erwahnte Gesamtinforitiation kann die GroBe des Bildbereiches 
sein. Der Ausdruck "Farbinformation" beinhaltet die Infor- 
mation fur alle Faktoren, die sich auf Licht bezieht, das 
als Ergebnis optischer Reflektion auf die menschliche Netz- 
haut auftrifft, und kann Information uber die Helligkeit, 
die Farbe Oder den Farbton, die. Attribute von Farben sind, 
sein. Die tatsachliche Form der Information kann z.B. als 
Farbzahlen im HVC- oder im RGB-Farbraum vorliegen. Dieser 
Aufbau ermoglicht es, daB Bildbereiche unter zwei Gesichts- 
punkten integriert werden, namlich der Farbinformation und 
der GroBe. . 

In dieser Ausf Uhrungsf orm werden der ProzeB A und der Pro- 
zeB B in dieser Reihenfolge ausgefiihrt. Entsprechend 
schreitet z.B. die Integration anfanglich unter Verwendung 
der Farbinformation fort, und dann werden die Bereiche, die 
nach der Integration ubrig bleiben, entsprechend ihrer Gro- 
Be integriert. 

In einem Aspekt dieser Ausf uhrungsf orm ist die Farbinforma- 
tion eine Farbdif f erenz zwischen Bereichen, wobei der Pro- 
zeB A es ermoglicht, eine Anzahl Bereiche, die in ihrer Po- 
sition aneinander angrenzen, nacheinander, beginnend mit 
einer niedrigen Farbdif f erenz, zu integrieren, namlich in 
aufsteigender Ordnung der Farbdif f erenz. Die Farbdif f erenz 
ist der Grad des UnterschiedS in der Farbe, und eine grdBe- 
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re Farbdif ferenz resultiert in eiriem grofteren . Unterschied 
in der Farbe. Der Grund, dafi das Kriterium. "in der - Position, 
einander benachbart" definiert ist, ist, daft eine hohe 
Wahrscheinlichkeit vorliegt, dafi diese Bereiche in einer 
korperlich definierten Entitat (Objekt) enthalten sind. Das 
gleiche trifft auf das Kriterium "von einem mit niedriger 
Farbdif ferenz" zu. Mit einem roten Apfel, der dbere urid un=- 
tere Enden einschlieftt, wobei jedes eine geringf iigig' von 
der anderen verschiedene Farbe besitzt., ist es ersichtlich, 
daft eine Farbdif ferenz zwischen den beiden Enden iin allge- 
meinen klein ist, da ihre Farben zum gleichen Rot gehdren, 
uhd daft der Abstand zwischen den beiden Enden im Bild rela- 
tiv gering ist, wodurch es ermoglicht wird, den gesamten . 
Apfel in einen Bereich zu integrieren. Selbst wenn in die- 
sem Fall ein Glas mit im wesentlichen der gleichen Farbe 
wie der Apfel im Bild getrennt angeordnet 1st, wurde die 
Integration nicht durchgefuhrt werden, solange sie yonein- 
ander um einen gewissen Betrag getrennt sind. 

In einem weiteren Aspekt dieser Ausf uhrungsf orm ermoglicht 
es der Prozeft B, daft ein Bereich mit einer kleineren Flache 
nachfolgend in eirien anderen Bereich mit einer grofteren 
Flache, der in grofter Nahe zu diesem angeordnet ist, inte- 
griert wird. Dies geschieht aufgrund der Tatsache, daft im 
Hinblick auf die Bereichsanpjassung, die beim Bewegungsko- 
dieren durchgef tthrt werden soil, Information mit Bezug auf 
einen Bereich mit einer relativ grofien Flache im Bild, die 
so fruh wie moglich zu bilden ist, signifikant ist. Dieser 
Aspekt wurde dazu fiihren, daft Bereiche mit einer relativ 
kleinen Flache nacheinander verschwinden f und wurde die Ge- 
.samtzahl an im Bild enthaltenen Bereichen reduzieren. 

[n einem weiteren Aspekt dieser Ausf uhrungsf orm schreitet 
der Prozeft A fort, bis die minimale Farbdif ferenz zwischen. 
den Bereichen einen vorbest immten Referenzwert erreicht, 
und daraufhin folgt der Prozeft B. Mit der Ausfiihrung des . 
Prozesses A verringert sich die Farbdif ferenz zwischen den 
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Bereichen allmahlich. In diesem Fall schreitet der Prozefi A 
zum Beispiel fort bis die Farbdif f erenz 6,0 in der Einheit, 
die NBS-Farbdiff erenz genannt wird, erreicht ist. Danach 
werden die so integrierten Bereiche basierend auf den Ab- 
messungen weiterer Integration unterworfen. 

In noch einem weiteren Aspekt dieser Ausf uhrungsf orm wird 
der Prozefi A ausgefuhrt, bis die Zahl der Bereiche mit vor- 
bestimmten Abmessungen . einen bestimmten Wert erreicht, dar- 
aufhin folgt der Prozefi B. Mit dem Fortschreiten des Pro- 
zesses A verringert. sich nicht nur die mini-male Farbdif fe- 
renz, sondern auch die Zahl der Bereiche, wobei der Bereich 
selbst durch die Integration vergrbfiert wird. Zum Beispiel 
kann der Prozefi A angehalten werden, wenn etwa 10 Bereiche^ 
aufgetreten sind, die die Abmessung von einem Prozent der 
Gesamtbildgrofie besitzen. 

Es 1st in dieser Ausf uhrungsf brm anzumerken, daft mit Bezug 
auf einen Bereich, der vollstandig von einem einzigen Be- 
reich gegeben ist (nachfolgend als* "isolierter Bereich". be- 
zeichnet) die Integration durch den Prozefi B verschoben 
werden kann. In diesem Fall konnen die Abmessungen des iso- 
Lierten Bereichs im Prinzip aus der Berucksichtigung wegge- 
lassen werden. Obwohl der isolierte Bereich gewohnlicher- 
weise.keine so grofie Grofie haben kann, kann der Fall auf- 
treten, in welchem es ersichtlich ist, dafi der isolierte 
Bereich als Bildinf ormation bedeutend ist, wie etwa Augen" 
in einem menschlichen Gesicht. Somit ermoglicht es der Pro 
zefi B, dafi der isolierte Bereich tatsachlich als Teil sei- 
ner speziellen Verarbeitung ubrig bleibt. Zur Zeit des wei 
teren Fortschreitens der Integration konnte der isolierte 
Bereich abhangig von der Situation integriert werden. 

[Konkrete Beispiele] 

Das Merkmal dieser Ausf uhrungsf orm liegt darin, dafi die In 
tegration der Bildbereiche uber zwei oder mehrere verschie 



dene Prozesse ausgefuhrt wird. Die Integration wird im an- 
fanglichen ProzeB A auf der Basis der Farbdif f erenz ausge- 
Cuhrt . und .dann im nachf olgenderi ProzeB B auf der Basis der 
GroBe des Bereichs. 

[ProzeB A] Auf Farbdif f erenz basierende Integration 

Die Integration wird gemaB dem Verfahren der ersten Ausfuh-. 
rungsform durchgef iihrt . Jedesmal, wenn Bildpunkte (oder Be- 
reiche) integriert worden sind, werden die . Position und die 
Farbzahl des neu integrierten Bereichs mit denen der ande- 
ren Bereiche verglichen, um die Integrationsverarbeitung zu 
wiederholen. Mit der Zunahme an Wiederholungen der Verar- 
beitung wiirde das Bi'ld in" eine begrenzte Anzahl Bereiche 
. integriert, von denen jeder die gleiche Farbe besitzt. Hier 
besteht das Problem,, wie die Beendigung des Prbzesses A be- 
urteilt werden soli. Es ist denkbar, daft zwei Hauptbeurtei- 
lungsverf ahren verfiigbar sind. 

(1) Bewertung mittels Farbdif f erenz. 

Jedesmal, wenn die Integrationsverarbeitung durchgefiihrt 
worden ist, wird eine minimale Farbdif f erenz zwischen den 
. zu diesem Zeitpunkt exis.tierenden Bereichen abgeleitet. 
Wenn die minimale Farbdif f erenz einen Referenzwert er- 
reicht, ist der ProzeB A abgeschlossen. In der NBS-Farb- 
dif f erenzeinheit wird. die Farbdif f erenz z.B. wie folgt er- 
mittelt.. ■ * 

Farbdif f erenz Bestimmung 



0,0 ~ 


0, 5 


im wesentlichen kein Unterschied in der Farbe 


0,5- 


1,5 


geringe Differenz in der Farbe 


1,5 ~ 


3,0 


bemerkbare Differenz in der Farbe 


3,0 ~ 


6, 0 


bemerkenswerte Differenz in der Farbe 


6, 0 


12, 0 


' sehr bemerkenswerte Differenz in der Farbe 


12, 0 




gehort zu einer anderen Farbe 




Es.hangt von der Gestaltung ab, welcher Farbunterschied als 
Referenzwert verwendet werden soil. Tendiert das Bild im 
allgemeinen dazu, relativ groBe Farbunterschiede zwischen 
Bereichen zu besitzen, kann ein grofier Referenzwert verwen- 
det werden. In dieser Ausf uhrungsf orm wird ein Referenzwert 
von 6,0 angenommen, was es ermoglicht, den ProzeB A in ei- 
nem Stadium abzuschlielien, in dem die Integration noch 
nicht sehr weit f ortgeschritten ist. Der Grund hierfvir ist, 
daft Ubermaliiges Fortschreiten des Prozesses A z.B. zur Pro- 
duktion von unter dem Gesichtspunkt der nachf olgenden Bewe- 
gungskodierung unerwiinschten Bildern f uhren wiirde . 

In den Figuren 1 bis 9 sind die Unannehmlichkeiten darge- • 
stellt, die durch ein abermaliiges Fortschreiten des Prozes- 
ses A verursacht werden konnen. Fig. 7 stellt ein Original- 
bild vor dem Beginn der Integration dar, in welchem vier 
Hauptobjekte mit unter schiedlichen Geometrien in einem Hin- 
tergrundbereich 5, der durch nach rechts absteigende ge- 
neigte Linien schraffiert ist, vorhanden sind. Fig. 8 
stellt das Bild dar, nachdem es einen Grad an Integration 
erfahren hat, und Fig. 9 stellt das Bild dar, nachdem es 
eine ubermafiige Integration erfahren hat. 

<Anderung des Bildes von Fig. 7 zu Fig. 8> 

Vorausgesetzt, daB in Fig. 7 eine geringe Farbdif f erenz 
zwischen den Bereichen 1 und 2, die mit nach rechts anstei- 
genden in Linien schraffiert sind, und den weiBen Bereichen 
3 und 4 besteht, wird die Integration zwischen den Berei- 
chen 1 und 3 sowie- zwischen den Bereichen 2 und 4 durchge- 
Euhrt. Falls hier die schraf f ierten Bereiche in die weilien 
Bereichen integriert werden, wurde Fig. 8 folgen. Obwohl es 
andere Bereiche gibt, die ebenso wie die Bereiche 1 und 2 
mit nach rechts ansteigenden geneigten Linien schraffiert 
sind, werden diese nicht in die weiBen Bereiche integriert, 
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weil ihre Positionen weit von den weifien Bereichen entfernt 
sind. • 

<Anderung des Bildes von Fig. 8 zu Fig. 9> . 

Wenn die integration zum Zustand, der in Fig. 8 gezeigt 
1st, f ortgeschritten ist, werden der Hintergrundbereich 5 
und die weifien Bereiche in derselben Weise integriert, vor- 
ausgesetzt, daft sich die Farbdif f erenz zwischen ihnen ge- . 
ring ist. Wenn der Hintergrundbereich in die weiflen Berei- 
che integriert- wird, wurde Fig. 9 folgen, in der sich ein 
weifier Bereich liber das gesamte Bild erstreckt. 

Somit ermoglicht das schlieftlich erhaltene Bild (Fig. 9) . 
lediglich das Zeigen der Regionen 6 und ahnlicher Regionen 
aus dem Originalbild. Die schwarzen Regionen besitzen je- 
doch Formen, die von denen der vier Objekte, die ursprung- 
li-ch im Originalbild existiert haben, ganz verschieden 
sind, was es sehr schwierig macht, auf der Basis der 
schwarzen Bereiche Bewegungskodierung fiir jedes Objekt 
durchzuf uhren . Tatsachlich wurde der Versuch, diese kodie- 
cung durchzuf iihren, von der hohen Wahrscheinlichkeit , daft 
entsprechende Bereiche in verschiedenen Vollbildern (Bil- 
der) nicht gefunden werdeh konnen, verhindert werden, was 
dazu fUhrt, daft die Integration von Beginn an neu probiert 
werden niuft oder daft die. Richtigkeit der Kodierung bewertet 
werden muft, wahrend das Bild Schritt fiir Schritt von Fig.' 9 
In den Zustand vor der Integration zuruckgef uhrt wird. Dies 
wurde naturlich zu einer komplizierten Verarbeitung f uhren. 
und die Verarbei tungsef f izienz verringern. In dieser Aus- 
fuhrungsform wird der Prozeft A fruh genug angehalten, um 
diese Unzulanglichkeit zu vermeiden, sobald die Farbdiffe- 
renz 6,0 erreicht. 

Die bben beschriebenen Unzulanglichkeit konnte als "Zustand 
in welchem ein zu grofter Bereich erzeugt worden ist" , be-- 
schrieben werden. Es ist daher denkbar, daft der Prozeft A. zu 




oineia Ende kommt, wenn die Zahl der Bereiche mit einer vor- 
bestimmten GroBe einen bestimmten Wert erreicht hat. Die 
vorbestimmte GroBe kann z.B. eine Flache sein, die 1% der 
gesamten Bildflache entspricht, und der vorgegebene Wert 
kanh z B. 10 bis 20 sein. Es ist naturlich, daB diese Werte 
abhangig von den Bildern variieren kSnnen. Jedoch wurde der 
ubergang zum Prozeti B zu diesem Zeitpunkt sicherstellen, 
dali danach kleinere Bereiche fruher integriert werden, was 
os einfacher macht, den Zustand, in dem eine Region in 
solch einer Weise schnell expandiert, dali sie sich iiber das 
qesamte Bild erstreckt, zu vermeiden. 

Es ist ersichtlich, dali das Endbild des Processes ft gewohn- 
licherweise innerhalb eines Bereiches liegt, der es dem 
menschlichen Auge ermoglicht, das Originalbild durch Analo- . 
gie zu identifizieren. Wird die Bewegungskodierung aus der 
Betrachtung weggelassen, ist es moglich, den Bildintegrati- 
onsprozeli ohne den Prozeli B zu beenden. 

[Prozeli B] Auf Bereichsgr6Be basierende Integration 

Wahrend des Prozesses B werden die existierenden Bereiche 
nacheinander von einem mit geringerer GroBe ausgehend inte- 
griert, namlich in auf steigender Ordnung der GroBe. Die 
GroBe des Bereiches kann z.B, durch die Anzahl an Bildpunk- 
ten bewertet werden. Die Grunde dafur, daB kleine Bereiche 
fruher integriert werden, sind die, dafi die Unzulanglich- 
keiten des Prozesses A vermieden werden sollten, und daB 
Pin groBerer Bereich einen groBeren Teil der Flache im Ori- 
qinalobjekt belegt. Da es fur die Bewegungskodierung. wich- 
rig ist, Konturen des gesamten Objektes zu extrahieren, 
zielt sie darauf ab, die Konturen des Objektes durch Inte- 
grieren eines kleineren Bereiches in einen groBeren Bereich 
icorrekt zu erfassen. 

Die Verarbeitung im ProzeB B ist abgeschLossen, wenn sich^ 
die Bereiche bis zu einem gewissen Grad in ihrer GroBe an 
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genahert haben. Im allgemeinen wurden gleiche Grofien von 
B^reichen die Wichtigkeit eines Schrittes zum Vergleichen 
der GroBen beim Anpassen von Bereichen zwischen zwei Voll- 
bildern- (image frames) verringern. Dies fuhrt zu einer Ver- 
kurzung der Gesamtyerarbeitungszeit , die fur die Bewegungs- 
kodierung benotigt wird. Da fur eine Mehrf ach-Mehrf ach- 
Korreiation zwischen den Vollbildern (Image Frames) ubli- 
cherweise eine lange Berechnungszeit benotigt wird, wird 
eine Verringerung der Vergleichselemente einen signif ikan- 
ten Effekt haben. 

Fig. 10 zeigt ein Endbild," das als Ergebnis des Prozesses B 
erhalten worden ist f bei.dem zur in Fig . 8 dargestellten 
Zeit. ein Ubergang vom Prozefc A zum ProzeB B stattgef unden 
hat. Wahrend des Prozesses B werden kleinere Bereiche in 
andere Bereiche, die in ihrer Position naher zu ihnen lie- 
gen, unabhangig von der Farbe integriert, was es ermog- 
licht, dafi die Konturen der Objekte gegen den verbleibend^n 
groftten Hintergrundsbereich zu erkennen sind. Somit ist ein 
Endbild, das fiir die Bewegurigskodierung am besten geeighet 
ist, das Ergebnis. 

Das obengesagte ist ein Oberblick liber den Prozefc B, aber 
es ist wunschenswert, dafi besondere Aufmerksamkeit auf den 
Fall gelegt wird,. daft innerhalb des Bildes isolierte Berei- 
che vorhanden sind. Die. isolierten Bereiche sind. oft von 
grofterer Bedeutung Oder sind charakteristische Bereiche, 
and daher sollte die Ordnung, in der die isolierten Berei- 
che integriert werden, verringert werden, selbst wenri sie 
kleine Flachen besitzen/ Wenn die isolierten Bereiche von 
geringer Wichtigkeit sind und insbesondere wenn ihre Fla- 
chen extrem klein sind (z.B. geringer als eiriige Bildpunk- 
£e) , konnen die isolierten Bereiche einer Integration un- 
terworfen werden. 

Dieses Verfahren kann die folgenden Ersetzungen und Variant- 
ten aufweisen. 




[Prozefi A] 

1. Der gleichformige HVC-Farbraum kann durch einen anderen 
Farbraum, wieetwa den RGB-Farbraum ersetzt werden. 

2. Da fur die Bewegungskodierung die Integration nicht not- 
wendigerweise fur das menschliche Auge naturlich erscheinen 
muli, konnen andere Kriterien als die Farbdif f erenz fur die 
[ntegration angewendet werden, wie etwa der Unterschied in 
der Helligkeit, der Unterschied im Farbton und der Unter- ' 
schied in der F.lachenhelligkeit. Es ist ersichtlich, daB 
fur Monochrombilder die Integration, ahhand des Helligkeits- 
unterschiedes am typischsten ist. 

3. Als individuelle Information uber Bildpunkte kann die 
Information tiber das, Ergebnis des Verfolgens des optischen 
Flusses jedes Bildpunktes verwendet werden. Dies ergibt 
sich aus der Tatsache, daB Bildpunkte, deren Ergebnis der 
Verfolgung eine ahnliche Tendenz zeigen, oft ineinander in- 
tegriert werden konnen. 

4 Es ist iaberfltissig zu sagen, dafl diese Techniken mitein- 
ander kombiniert werden konnen. 

[ProzeB B] 

I. Die Integration ist in solch einer Weise entwickelt, dali 
Positionen der Schwerpunkte derjenigen Bereiche, die im 
Bndbild verbleiben, geeignet verteilt sind. Zum Beispiel 
wird, wenn die Schwerpunkte aller Bereiche in der Nahe des 
Bildmittelpunktes ^onzentriert sind, die Wirksamkeit der 
Bereichsanpassung zwischen einer Anzahl Vollbildern (fra- 
mes) verringert werden. Im Gegensatz dazu wurden geeignet 
/erteilte Schwerpunkte die Begrenzung des Wiederherstel- 
lungsbereiches der entsprechenden Bereiche vereinfachen und 
wurde ein im allgemeinen zuf riedenstellendes Anpassungser- 
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gebnis sicherstellen . Somit sollte, wenn es. eine Anzahl an 
Kandidaten zum Integrieren gibt, einer aXisgewahlt werden f 
der zu einem Ergebnis fuhrt, in welchem die Positioner* der 
Schwerpunkte der Bereiche nach der Integration soweit wie 
mbglich verteilt sind. 

2. Wenn in den Auf trittsmustern einer Anzahl von Bereichen 
/Bine Regelma&igkeit gefunden wird, sind diese Bereiche zu 
integrieren. Falls es zum. Beispiel in einem Bild eine Per- 
son gibt, die einen schwarzweifi gestreiften Anzug tragt, 
. wurde. eine blofie Integration anhand von Farbinf ormat ionen 
es.nicht ermoglichen, die Konturen dieser Person zu identi- 
f izieren . Entsprechend werden, im Fall daft schwarze und 
weifte Bereiche wiederholt uhd mit einer bestimmten Regelma- 
Jiigkeit auftreten, diese Bereiche integriert. Neben dern ge- 
streiften Muster ist dies auf jede Regelmailigkeit anwendbar 
und braucht nicht auf eine Regelmaftigkeit , die dem mens.ch- . 
lichen Auge ersichtlich ist, beschrankt zu sein, und somit 
ware. es moglich, Raumf requenzen von einem relativ kleinen 
Bereich zu extrahieren, urn dadurch feine Texturen oder f ei- 
ne Muster zu detektieren. 

3. Bereiche, die mit einem Bildrnuster, das im Voraus prapa- 
ciert worden ist , ubereinstimmen, sind zu integrieren. Im 
Palle eines Bildtelefons zum Beispiel, ist.es ersichtlich, 
daft ein menschliches Gesicht im Mittelpunkt steht, und das- 
her werden, falls ein f leischf arbener Bereich mit zwei 
schwarzen Bereichen (Auge) darin im zentralen . Abschnitt ei- 
nes Bildes plaziert ist, diese Bereiche in einen Bereich 
als ein Gesicht integriert. Dies ware von Vorteil fur die 
Bild-zu-Bild-Anpassung mit Bezug auf die Bewegung einer 
Person und konnte auf modellbasierende Kodierung anwendbar 
sein. Es ist zu erwahnen, daft die Wichtigkeit der Informa- 
tion, die sich auf die Augen bezieht, steigt, wenn das Ge- 
sicht sich dreht, ohne sich horizontal oder vertikal zu 
bewegen. In diesem Fall konnen die Augen als isolierte Be- 



reiche verbleiben, ohne in den Bereich des Gesichtes inte- 
griert zu werden. 

4 Wenn ein dynamisches Bild das Objekt ist, sollte auf den 
vergangenen Zustand der Bereichsintegration Bezug genommen 
werden. Die Integration der Bereiche, die fur das aktuell- 
ste Vollbild (image frame) ausgefuhrt worden ist, bleibt. 
oft fur das nachste Vollbild (frame) wirksam. 

Urn zu verhindern, daft die Bereiche in ihrer Form kompli- 
7 iert werden, wird die Integratin so durchgef uhrt , daR Un- 
qleichmaftigkeiten beseitigt werden. Komplizierte Geometrien 
wurden die Zahl der Bereiche> die als Fehler lediglich xm 
Hinblick auf die Geometrie von Kandidaten beim Anpassen 
^ntfernt werden muliten, erhohen. Dies kann zu dem Risiko 
des Fehlers fuhren, dafi die optimale Anpassung ubersehen 
wird. 

6. Diese Techniken kdnnen kombiniert werden. 

Gemali der oben beschriebenen Erfindung macht es die Verwen- 
dung von mindestens zwei Prozessen moglich, Bildintegratxon 
unter Berucksichtigung der Bewegungskodierung durchzufuh- 
ren Diese Prozesse sind besonders effektiv, wenn sie.es 
ermoglichen, die Verarbeituhg auf der Basis individueller 
Informationen von Bildpunkten bzw. Gesamtinf ormationen 
durchzuftihren. Zudem wurde die Ausfuhrung der Prozesse A 
and B in der erwahnten Reihenfolge es erleiehtern, die.Er 
zeugung eines unerwiinschten Bereiches, der sich. z.B. uber 
das gesamte Bild erstreckt, zu vermeiden. 

Vorausgesetzt, dali wahrend des Prozesses A eine Anzahl Be- 
reiche in grofier Nahe zueinander nacheinander der Integra 
cion von einer geringeren Farbdif ferenz- ausgehend unterwor 
Een werden, namlich in auf steigender Ordnung der Farbdiffe 
renz, so wird die Integration von Bereichen, die z.B. zum 
qleichen Objekt gehoren, vereinfacht. Vorausgesetzt, dafi 



wahrenddes Prozelies B Bereiche mit einer kleineren Grofte 
in andere, groftere Bereiche der Reihe nach integriert wer- 
den, namlich in auf steigender Ordnung der . Grolie, so gibt- es 
erne hohe Wahrscheinlichkeit daf ilr, daft Bereiche, die als 
Objektirif ormation wichtig sind, am Ende intakt verbleiben, 
was es moglich macht, ein Bild zu erzeugen, das fur die Be- 
wegungskodierung geeignet ist.. 

Vorausgesetzt, daft der Prozeft A fortschreitet, bis die mi - 
nimale Farbdif f erenz zwischen den Bereichen einen Referenz- 
wert erreicht, und danach der Prozeft B folgt, so werden Un- 
zulanglichkeiten, die durch tibermaftige Ausfuhrung lediglich 
des Prozesses A verursacht werden konnen, ' leicht uberwun- 
den. Dies hat auch eine vorteilhafte Wirkung auf die Bewe- 

gungskodierung. . 

_/ .-*... 

In ahnlicher Weise wird die Erzeugung von unerwiinschten und 
zu groften Bereichen unterdruckt, vorausgesetzt, daft der 
Prozeft A fortschreitet, bis die Zahl der Bereiche mit einer 
vorbestimmten Grofte einen bestinimten Wert erreicht und da- 
nach der Prozeft B folgt, was es vereinf apht , die obener- 
wahnten Unzulanglichkeiten zu beseitigen. 

Wenn die Ordnung, in der die isolierten Bereiche integriert 
werden, im Prozeft B verringert wird, konnen Bereiche, die 
als Bildinf ormation wichtig sind, weiterhin bis zum Endbild 
gefuhrt werden. 
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Patentanspruche 

1. Verfahren zum Verarbeiten von Bildern auf Bereichsbasis. 
mit : 

einem Beurteilungsschritt (14) zum Beurteilen einer Annahe- 
rung zwischen einer Farbe jedes Pixels Oder Teils des zu 
verarbeitenden Bildes und Elementf arben, die im Voraus vor- 
bereitet wurden, und 

einem Ersetzungsschritt (16) zum Ersetzen der Farbe jedes 
Pixels' oder Teils durch eine Elementf arbe in Obereinstim- 
mung mit dem. Ergebnis der Beurteilung, 

dadurch g e k e n n z. e i c h n e t , dali das Verfahren 
ferner einen Integrationsschritt (18) aufweist, in dem, 
nach der Ersetzung, eine Zahl von Pixein oder Teilen ent- 
sprechend ihren Farben zu einem Bereich integriert werden, 
durch Vergeben einer einzelnen Elementfarbe an die Anzahl 
von Teilen. 

2. Verfahren zum Verarbeiten von Bildern nach Anspruch 1, 
wobei die Elementf arben in Form von Elementen einer Farbta- 
belle. gegeben sind, die einen diskretisierten Farbraum re- 
prasentiert. 

3. Verfahren zum Verarbeiten von Bildern nach Anspruch 2, 
wobei der Ersetzungsschritt (16) in Obereinstimmung mit dem 
Ergebnis der Beurteilung die Farbe jedfes Pixels durch ein 
Element der Farbtabelle ersetzt, das die Farbdif f erenz in 
Bezug auf die Farbe des zu ersetzenden Pixels minimiert. 

4. Verfahren zur Verarbeitung von Bildern nach Anspruch 2, 
wobei der Integrationsschritt (13) nebeneinanderliegende 
Pixel nach der Ersetzung integriert, wenn die Farben von 
Pixein, die. in einem Originalbild positionsmaliig nebenein- 




ander liegen, in Bereichen enthalten sind, die in dem dis- 
kretisierten Farbraum nebeneinander liegen . 

5. Verfahren zum Verarbeiten von Bildern nach einem der An- 
spriiche 2 bis. .4, wobei das Verfahren ferner aufweist: 
einen Kreationsschr.itt zum Bilden einer weiteren Farbtabel- 
le durch Extrahieren von Elementen der .Farbtabelle, die den 
diskretisierten Farbraum reprasentieren und notwendi.g sind, 
urn das Endbild wiederzugeben, .nach Beendigung der Verarbei- 
tung eiiles Bildes durch den Ersetzungsschritt (16) und den. 
Integrationsschritt (18). ." 

6. Verfahren zum Verarbeiten von Bildern nach einem. der 
vorstehenden Anspriiche, wobei das Verfahren ferner auf- 
weist : 

einen Erkennungsschritt (34) zum Erkennen, bei Beendigung 
der Verarbeitung eines Bildes durch den Ersetzungsschritt 
(16) und den Integrationsschritt (18) , der Bedeutung jedes 
integrierten Gebiets in Obereinstimmung mit der Geschichte , 
der Integration. - . 

7. Bilduber'tragungssystem mit 

einem transmitter (30) zum Obertrageri von Bilddaten und ei- 
nem Empf anger (32) zum Empfang der Bilddaten, die von dem 
Transmitter (30) ubertragen wurden, wobei sowohl der Trans- 
mitter (30) als auch der Empfanger (32) vor der: Ubertragung 
des Bildes von Bilddaten eine erste Farbtabelle gemeinsam 
halten, 

wobei der Transmitter Beurteilungsmittel (14) aufweist zum 
Beurteilen einer : Annaherung zwischen einer Farbe jedes Pi- 
xels; die ein zu verarbeitehdes Bild bilcien, und Elementen 
der ersten Farbtabelle, 

Ersetzungsmittel (16) zum Ersetzen der Farbe jedes Pixels 
durch ein Element der ersten Farbtabelle in Obereinstimmung 
mit dem Ergebnis der Beurteilung, 

dadurch g e k e nn z ei c hn e t , daft der Transmitter 
(30) ferner ein Int egrationsmittel (18) aufweist zum Inte- 
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grieren, nach der Ersetzung, einer Anzahl von Pixeln in 
Obereinstimmung mit ihrer Farbe zu Gebieten zum Vergeben 
einer einzelnen Elementf arbe an die Anzahl von Pixeln, und 
ein Kreationsmittel (36) zum Extrahieren einer zweiten 
Farbtabelle einschlieBlich der Elemente der ersten Farbta- 
belle, die, zum Wiedergeben eines Endbildes nach der Verar- 
beitung des Bildes durch den Ersetzungsschritt (16) und den 
Integrationsschritt (18) erforderlich sind, und wobei der 
Empfanger (32) Speichermittel (44) aufweist zum Speichern 
der zweiten Farbtabelle, die' durch den Transmitter ubertra- 
gen wird. 

8. Bildubertragungssystem nach Anspruch 7, 
wobei der Transmitter (30) ferner aufweist: 

Erkennungsmittel (34). zum Erkennen, nach der Beendigung der 
Verarbeitung eines Bildes durch den Ersetzungsschritt (16) 
und den Integrationsschritt (18), der Bedeutung jedes inte- 
grierten Gebietes in Obereinstimmung mit der Geschichte der 
Integration, und 

Entscheidungsmittel (34) zum Entscheiden iiber eine Anzahl 
von Malen, in der Daten fur das Gebiet ubertragen werden, 
abhangig von der gespeicherten Bedeutung, 
wobei der Empfanger (32) weiterhin aufweist: 
Reproduktionsmittel (46) zum Kombinieren von Daten fur je- 
des Gebiet, das durch den Transmitter (30) Ubertragen wird, 
um ein Bild zu reproduzieren . 
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